PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation
基于物理的3D人体运动奖励用于视频生成
🧭 物理引导的人体运动视频生成
UNC Chapel Hill · FieldAI · NTU Singapore · AI2 · Johns Hopkins University
提出结构化3D运动奖励PhyMotion,通过物理仿真多维度评估运动真实感,显著提升视频生成中的人体运动质量
📌 工作参考价值(4 点)
- 奖励信号设计:将难以直接评估的运动真实感分解为运动学、接触/平衡、动力学三个可量化维度,每个维度提供连续可解释信号,该分解思路可借鉴用于电商场景(如商品图文一致性、合规性)的多维奖励设计。
- RL后训练方法:在视频生成模型上用RL优化精心设计的奖励,仅带来适中的训练开销,且不影响整体视频质量,这种低侵入性微调可参考用于可控文本生成或推荐模型的特定属性优化。
- 多维度互补监督:消融实验证实三个轴信号互补,单独使用效果次优,提示在设计评估或奖励体系时需覆盖多个独立方面以避免盲点。
- 外部仿真器验证:引入MuJoCo物理仿真器作为奖励的一部分,可缓解模型“奖励黑客”问题,类似思想可迁移到生成式推荐或对话Agent中,用规则引擎或知识图谱做校验,提升生成结果的逻辑一致性。